可解释的AI（XAI）的基本任务是确定黑匣子功能$ f $做出的预测背后的最重要功能。 Petsiuk等人的插入和缺失测试。 （2018年）用于判断从最重要的对分类至最不重要的算法的质量。在回归问题的激励下，我们在曲线标准（AUC）标准下建立了一个公式，就$ f $的锚定分解中的某些主要效果和相互作用而言。我们找到了在输入到$ f $的随机排序下AUC的期望值的表达式，并提出了回归设置的直线上方的替代区域。我们使用此标准将集成梯度（IG）计算出的特征与内核Shap（KS）以及石灰，DeepLift，Vanilla梯度和输入$ \ times $ \ times $梯度方法进行比较。 KS在我们考虑的两个数据集中具有最好的总体性能，但是计算非常昂贵。我们发现IG几乎和KS一样好，同时更快。我们的比较问题包括一些对IG构成挑战的二进制输入，因为它必须使用可能的变量级别之间的值，因此我们考虑处理IG中二进制变量的方法。我们表明，通过其shapley值进行排序变量并不一定给出插入插入测试的最佳排序。但是，对于加性模型的单调函数（例如逻辑回归），它将做到这一点。
translated by 谷歌翻译
英语水平评估已成为过滤和选择学术界和工业的预期候选人的必要度量。随着这种评估需求的增加，越来越必要拥有自动化的人类可意识的结果，以防止不一致并确保对第二语言学习者有意义的反馈。基于特征的经典方法在理解得分模型学习的内容方面更具可解释。因此，在这项工作中，我们利用古典机器学习模型作为分类和回归问题的语音评分任务，其次是彻底的研究来解释和研究语言线索与扬声器的英语水平之间的关系。首先，我们提取五个类别（流利，发音，内容，语法和词汇和声学）的语言学家特征，并列车模型到级响应。相比之下，我们发现基于回归的模型相当于或更好地比分类方法更好。其次，我们进行消融研究以了解每个特征和特征类别对熟练分级性能的影响。此外，要了解个别特征贡献，我们展示了顶部特征对分级任务的最佳执行算法的重要性。第三，我们利用部分依赖性地块和福芙值来探索特征重要性，并得出结论，最好的培训模式了解用于分级本研究中使用的数据集的底层尺寸。
translated by 谷歌翻译
在本文中，我们介绍了一个用于音频和语音的协作和现代注释工具：奥迪诺。该工具允许注释器在Audios中定义和描述时间分段。可以使用动态生成的形式轻松标记这些段和转录。管理员可以通过管理仪表板集中控制用户角色和项目分配。仪表板还可以描述标签及其值。可以轻松地以JSON格式导出注释以进行进一步分析。该工具允许通过基于键的API来上载和分配给用户的音频数据及其相应的注释。注释工具中可用的灵活性使注释进行演讲评分，语音活动检测（VAD），扬声器沿和扬声器识别，语音识别，情感识别任务等等。麻省理工学院开源许可证允许它用于学术和商业项目。
translated by 谷歌翻译
在这项研究中，我们提出了一种新的多模态端到端神经网络，用于使用注意融合自动评估非母语英语扬声器的自发言论。管道采用双向反复化卷积神经网络和双向长短期记忆神经网络，分别从谱图和转录中编码声学和词汇线索。对这些学习的预测特征进行注意融合，以在最终得分之前学习不同方式之间的复杂相互作用。我们将模型与强型基线进行比较，并发现对词汇和声学线索的综合关注显着提高了系统的整体性能。此外，我们对我们的模型提供了一种定性和定量分析。
translated by 谷歌翻译